1. 17.4 SVM的损失函数

1.1. 学习目标

在SVM中，我们主要讨论三种损失函数：

绿色：0/1损失
- 当正例的点落在y=0这个超平面的下边，说明是分类正确，无论距离超平面所远多近，误差都是0.
- 当这个正例的样本点落在y=0的上方的时候，说明分类错误，无论距离多远多近，误差都为1.
- 图像就是上图绿色线。
蓝色：SVM Hinge损失函数
- 当一个正例的点落在y=1的直线上，距离超平面长度1，那么1-ξ=1，ξ=0，也就是说误差为0；
- 当它落在距离超平面0.5的地方，1-ξ=0.5，ξ=0.5，也就是说误差为0.5；
- 当它落在y=0上的时候，距离为0，1-ξ=0，ξ=1，误差为1；
- 当这个点落在了y=0的上方，被误分到了负例中，距离算出来应该是负的，比如-0.5，那么1-ξ=-0.5，ξ=1.5.误差为1.5.
- 以此类推，画在二维坐标上就是上图中蓝色那根线了。
红色：Logistic损失函数
- 损失函数的公式为： $ln(1+e^{-y_i})$
- 当yi=0时，损失等于ln2,这样真丑，所以我们给这个损失函数除以ln2.
- 这样到yi=0时，损失为1，即损失函数过（0，1）点
- 即上图中的红色线。